人类评分是分割质量的抽象表示。为了近似于稀缺专家数据的人类质量评级,我们训练替代质量估计模型。我们根据Brats注释方案评估复杂的多级分割问题,特别是神经胶质瘤分割。培训数据以15位专家神经放射科学家的质量评级为特征,范围从1到6星,用于各种计算机生成和手动3D注释。即使网络在2D图像上运行并使用稀缺的训练数据,我们也可以在与人类内部内可靠性相当的错误范围内近似分段质量。细分质量预测具有广泛的应用。虽然对分割质量的理解对于成功分割质量算法的成功临床翻译至关重要,但它可以在培训新的分割模型中发挥至关重要的作用。由于推断时间分裂,可以直接在损失函数中或在联合学习设置中作为完全自动的数据集策划机制。
translated by 谷歌翻译
事实证明,深度卷积神经网络在语义分割任务中非常有效。引入了最流行的损失功能,以提高体积分数,例如Sorensen骰子系数。根据设计,DSC可以解决类不平衡;但是,它不能识别类中的实例不平衡。结果,大型前景实例可以主导次要实例,并且仍然产生令人满意的Sorensen骰子系数。然而,错过实例将导致检测性能不佳。这代表了诸如疾病进展监测等应用中的一个关键问题。例如,必须在多发性硬化症患者的随访中定位和监视小规模病变。我们提出了一个新型的损失功能家族,绰号斑点损失,主要旨在最大化实例级检测指标,例如F1得分和灵敏度。 BLOB损失是针对语义分割问题而设计的,其中实例是类中连接的组件。我们在五个复杂的3D语义分割任务中广泛评估了基于DSC的斑点损失,这些任务具有明显的实例异质性,从纹理和形态上讲。与软骰子损失相比,我们的MS病变改善了5%,肝肿瘤改善了3%,考虑F1分数的显微镜细分任务平均提高了2%。
translated by 谷歌翻译
Granger因果关系(GC)检验是一种著名的统计假设检验,用于研究一个时期的过去是否影响了另一个时间的未来。它有助于回答一个问题序列是否有助于预测。 Granger因果关系检测的标准传统方法通常假设线性动力学,但是这种简化在许多现实世界应用中不存在,例如,神经科学或基因组学本质上是非线性的。在这种情况下,施加线性模型,例如向量自回旋(VAR)模型可能会导致对真正的Granger因果相互作用的不一致估计。机器学习(ML)可以学习数据集中的隐藏模式(DL)在学习复杂系统的非线性动力学方面表现出巨大的希望。 Tank等人的最新工作建议通过使用神经网络结合对可学习的权重的稀疏性惩罚来克服VAR模型中线性简化的问题。在这项工作中,我们基于Tank等人引入的想法。我们提出了几类新的模型,这些模型可以处理潜在的非线性。首先,我们介绍了学识渊博的内核var(lekvar)模型 - var模型的扩展,这些模型也学习了通过神经网络参数的内核。其次,我们表明可以通过脱钩的惩罚直接将滞后和单个时间序列的重要性分解。这种去耦提供了更好的缩放,并使我们可以将滞后选择嵌入RNN中。最后,我们提出了一种支持迷你批次的新培训算法,并且它与常用的自适应优化器(例如Adam)兼容。癫痫患者的电脑电图(EEG)数据研究了在19个EEG通道之前,期间和之后的GC演变。
translated by 谷歌翻译
在这项研究中,我们提出了使用深度学习方法进行多模式模因分类的特征提取。模因通常是一张照片或视频,其中年轻一代在社交媒体平台上共享文本,表达了与文化相关的想法。由于它们是表达情感和感受的有效方法,因此可以对模因背后的情绪进行分类的好分类器很重要。为了使学习过程更有效,请减少过度拟合的可能性,并提高模型的普遍性,需要一种良好的方法来从所有模式中提取共同特征。在这项工作中,我们建议使用不同的多模式神经网络方法进行多模式特征提取,并使用提取的功能来训练分类器以识别模因中的情感。
translated by 谷歌翻译
在这项工作中,我们提出了用于商业产品分类的多模式模型,该模型结合了使用简单的融合技术从Textual(Camembert和Flaubert)和视觉数据(SE-Resnext-50)中提取的功能。所提出的方法显着优于单峰模型的性能以及在我们的特定任务上报告的类似模型的报告。我们进行了多种融合技术的实验,并发现,结合单峰网络的单个嵌入的最佳性能技术是基于结合串联和平均特征向量的方法。每种模式都补充了其他方式的缺点,表明增加模态的数量可能是改善多标签和多模式分类问题的有效方法。
translated by 谷歌翻译
由于在线学习和评估平台(例如Coursera,Udemy,Khan Academy等)的兴起,对论文(AES)和自动论文评分的自动评估(AES)已成为一个严重的问题。研究人员最近提出了许多用于自动评估的技术。但是,其中许多技术都使用手工制作的功能,因此从特征表示的角度受到限制。深度学习已成为机器学习中的新范式,可以利用大量数据并确定对论文评估有用的功能。为此,我们提出了一种基于复发网络(RNN)和卷积神经网络(CNN)的新型体系结构。在拟议的体系结构中,多通道卷积层从嵌入矢量和基本语义概念中学习并捕获单词n-gram的上下文特征,并使用max-pooling操作在论文级别形成特征向量。 RNN的变体称为双门复发单元(BGRU),用于访问以前和后续的上下文表示。该实验是对Kaggle上的八个数据集进行的,以实现AES的任务。实验结果表明,我们提出的系统比其他基于深度学习的AES系统以及其他最新AES系统的评分精度明显更高。
translated by 谷歌翻译
The goal of graph summarization is to represent large graphs in a structured and compact way. A graph summary based on equivalence classes preserves pre-defined features of a graph's vertex within a $k$-hop neighborhood such as the vertex labels and edge labels. Based on these neighborhood characteristics, the vertex is assigned to an equivalence class. The calculation of the assigned equivalence class must be a permutation invariant operation on the pre-defined features. This is achieved by sorting on the feature values, e. g., the edge labels, which is computationally expensive, and subsequently hashing the result. Graph Neural Networks (GNN) fulfill the permutation invariance requirement. We formulate the problem of graph summarization as a subgraph classification task on the root vertex of the $k$-hop neighborhood. We adapt different GNN architectures, both based on the popular message-passing protocol and alternative approaches, to perform the structural graph summarization task. We compare different GNNs with a standard multi-layer perceptron (MLP) and Bloom filter as non-neural method. For our experiments, we consider four popular graph summary models on a large web graph. This resembles challenging multi-class vertex classification tasks with the numbers of classes ranging from $576$ to multiple hundreds of thousands. Our results show that the performance of GNNs are close to each other. In three out of four experiments, the non-message-passing GraphMLP model outperforms the other GNNs. The performance of the standard MLP is extraordinary good, especially in the presence of many classes. Finally, the Bloom filter outperforms all neural architectures by a large margin, except for the dataset with the fewest number of $576$ classes.
translated by 谷歌翻译
卷积网络被视为换档不变,但据证明它们的响应可能根据对象的确切位置而变化。在本文中,我们将展示大多数常见的数据集具有偏差,其中物体在训练期间在图像的中心被覆盖。这些网络的偏差和边界条件可以对这些架构的性能产生显着影响,并且当物体接近边界时,它们的精度显着下降。我们还将演示如何通过数据增强技术减轻这种效果。
translated by 谷歌翻译
我们使用改进的最小路径Eikonal方程向3D图像引入一种新的对象分割方法。该方法利用隐式约束 - 对eikonal的非均匀最小路径的二阶校正 - 防止相邻的最小路径轨迹无法控制地分歧。所提出的修改大大减少了通过最小路径揭示的表面积,允许使用计算的最小路径设置为近似表面的参数线。它还具有与也推导出真正的最小表面eikonal方程的松散连接。
translated by 谷歌翻译
联邦学习(FL)一直在不同的ML任务中获得显着的牵引力,从视野到键盘预测。在大规模的部署中,客户异质性是一个事实,并构成公平,培训性能和准确性的主要问题。虽然已经进行了统计数据异质性的重大努力,但是作为系统异质性称为客户端的处理能力和网络带宽的多样性仍然很大程度上是未开发的。当前解决方案无论是忽略大部分可用的设备,也无限制地设定均匀限制,由最低能力的参与者限制。在这项工作中,我们介绍了有序的辍学,这是一种机制,实现了深度神经网络(DNN)中的有序,嵌套的知识表示,并且能够在不需要再培训的情况下提取较低的脚印子模型。我们进一步表明,对于线性地图,我们的订购辍学等同于SVD。我们采用这种技术,以及一种自蒸馏方法,在一个叫做峡湾的框架中。 Fjord通过将模型宽度定制到客户端的功能来减轻客户体系异质性的问题。在各种方式上对CNN和RNN的广泛评估表明,峡湾始终如一地导致最先进的基线的显着性能,同时保持其嵌套结构。
translated by 谷歌翻译